ˈheɪ, ˈaɪm dʒəˈbɹiːɫɫ ənd ˈwɛɫkəm ˈtʰuː ˈkɹæʃ ˈkʰɔrs ˈaɪ!
ˈwʌn ˈweɪ ˈtʰuː ˈmeɪk ən ˌɑrɾəˈfɪʃɫ̩ ˈbɹeɪn ˈɪz ˈbaɪ kɹiːˈeɪɾɪŋ ə ˈnʊrəɫ ˈnɛtˌwɝk, ˈwɪtʃ kən ˈhæv
ˈmɪɫjənz əv ˈnʊrˌɑnz ənd ˈbɪɫjənz (ˈɔr ˈtɹɪɫjənz) əv kəˈnɛkʃənz bɪˈtwiːn ˈðɛm.
ˈnaʊəˌdeɪz, ˈsʌm ˈnʊrəɫ ˈnɛtˌwɝks ˈɑr ˈfæst ənd ˈbɪɡ ɪˈnʌf ˈtʰuː ˈduː ˈsʌm ˈtʰæsks ˈiːvən ˈbɛɾɚ ˈðæn
ˈhjuːmənz kən, ˈlaɪk ˈfɔr ɪɡˈzæmpəɫ ˈpleɪɪŋ ˈtʃɛs ˈɔr pɹɪˈdɪktɪŋ ðə ˈwɛðɚ!
ˈbʌt ˈæz ˈwiːv ˈtʰɔkt əˈbaʊt ˈɪn ˈkɹæʃ ˈkʰɔrs ˈaɪ, ˈnʊrəɫ ˈnɛtˌwɝks ˈdoʊnt ˈdʒʌst ˈwɝk ˈɔn ˈðɛr
ˈoʊn.
ˈðeɪ ˈniːd ˈtʰuː ˈlɝn ˈtʰuː ˈsɑɫv ˈpɹɑbləmz ˈbaɪ ˈmeɪkɪŋ məˈsteɪks.
ˈsaʊndz ˈkʰaɪnd əv ˈlaɪk ˈʌs, ˈɹaɪt?
ˈɪnˌtɹoʊ
ˈnʊrəɫ ˈnɛtˌwɝks ˈhændɫ̩ məˈsteɪks.
ˈjuːzɪŋ ən ˈæɫɡɚˌɹɪðəm ˈkʰɔɫd /backpropagation/ ˈtʰuː ˈmeɪk ˈʃʊr ˈɔɫ ðə ˈnʊrˌɑnz ˈðæt kənˈtɹɪbjuːɾəd
ˈtʰuː ən ˈɛrɚ ˈɡɛt ˈðɛr ˈmæθ əˈdʒʌstəd, ənd ˈwiːɫɫ ˌʌnˈpʰæk ˈðɪs ə ˈbɪt ˈleɪɾɚ.
ənd ˈnʊrəɫ ˈnɛtˌwɝks ˈhæv ˈtʰuː ˈmeɪn ˈpʰɑrts: ðiː ˈɑrkəˌtɛktʃɚ ənd ðə ˈweɪts.
ðiː ˈɑrkəˌtɛktʃɚ ɪnˈkluːdz ˈnʊrˌɑnz ənd ˈðɛr kəˈnɛkʃənz.
ənd ðə ˈweɪts ˈɑr ˈnʌmbɚz ˈðæt ˈfaɪnˈtʰuːn ˈhaʊ ðə ˈnʊrˌɑnz ˈduː ˈðɛr ˈmæθ ˈtʰuː ˈɡɛt ən ˈaʊtˌpʊt.
ˈsoʊ ˈɪf ə ˈnʊrəɫ ˈnɛtˌwɝk ˈmeɪks ə məˈsteɪk, ˈðɪs ˈɔfən ˈmiːnz ˈðæt ðə ˈweɪts ˈɑrnt əˈdʒʌstəd
kɚˈɹɛktlɪ ənd ˈwiː ˈniːd ˈtʰuː ˌʌpˈdeɪt ˈðɛm ˈsoʊ ˈðeɪ ˈmeɪk ˈbɛɾɚ pɹɪˈdɪkʃənz ˈnɛkst ˈtʰaɪm.
ðə ˈtʰæsk əv ˈfaɪndɪŋ ðə ˈbɛst ˈweɪts ˈfɔr ə ˈnʊrəɫ ˈnɛtˌwɝk ˈɑrkəˌtɛktʃɚ ˈɪz ˈkʰɔɫd ˌɑptəməˈzeɪʃən.
ənd ðə ˈbɛst ˈweɪ ˈtʰuː ˌʌndɚˈstænd ˈsʌm ˈbeɪsɪk ˈpɹɪnsəpəɫz əv ˌɑptəməˈzeɪʃən ˈɪz ˈwɪθ ən ɪɡˈzæmpəɫ
ˈwɪθ ðə ˈhɛɫp əv ˈmaɪ ˈpʰæɫ ˈdʒɑn ˈɡɹiːn ˈbɑt.
ˈseɪ ˈðæt ˈaɪ ˈmænɪdʒ ə ˈswɪmɪŋ ˈpʰuːɫ, ənd ˈaɪ ˈwɔnt ˈtʰuː pɹɪˈdɪkt ˈhaʊ ˈmɛnɪ ˈpʰiːpəɫ ˈwɪɫ ˈkʰʌm ˈnɛkst
ˈwiːk, ˈsoʊ ˈðæt ˈaɪ kən ˈskɛˌdʒuːɫ ɪˈnʌf ˈlaɪfˌɡɑrdz.
ə ˈsɪmpəɫ ˈweɪ ˈtʰuː ˈduː ˈðɪs ˈɪz ˈbaɪ ˈɡɹæfɪŋ ˈsʌm ˈdeɪɾə ˈpʰɔɪnts, ˈlaɪk ðə ˈnʌmbɚ əv ˈswɪmɚz ənd
ðə ˈtʰɛmpɹəˌtʃʊr ˈɪn ˈfɛrənˌhaɪt ˈfɔr ˈɛvɹɪ ˈdeɪ ˈoʊvɚ ðə ˈpʰæst ˈfjuː ˈwiːks.
ˈðɛn, ˈwiː kən ˈlʊk ˈfɔr ə ˈpʰæɾɚn ˈɪn ˈðæt ˈɡɹæf ˈtʰuː ˈmeɪk pɹɪˈdɪkʃənz.
ə ˈweɪ kəmˈpʰjuːɾɚz ˈduː ˈðɪs ˈɪz ˈwɪθ ən ˌɑptəməˈzeɪʃən ˈstɹæɾədʒɪ ˈkʰɔɫd ˈlɪniːɚ ɹɪˈɡɹɛʃən.
ˈwiː ˈstɑrt ˈbaɪ ˈdɹɔɪŋ ə ˈɹændəm ˈstɹeɪt ˈlaɪn ˈɔn ðə ˈɡɹæf, ˈwɪtʃ ˈkʰaɪnd əv ˈfɪts ðə ˈdeɪɾə
ˈpʰɔɪnts.
ˈtʰuː ˈɑptəˌmaɪz ˈðoʊ, ˈwiː ˈniːd ˈtʰuː ˈnoʊ ˈhaʊ ˌɪnkɚˈɹɛkt ˈðɪs ˈɡɛs ˈɪz.
ˈsoʊ ˈwiː ˈkʰæɫkjəˌleɪt ðə ˈdɪstəns bɪˈtwiːn ðə ˈlaɪn ənd ˈiːtʃ əv ðə ˈdeɪɾə ˈpʰɔɪnts, ˈæd ˈɪt ˈɔɫ ˈʌp,
ənd ˈðæt ˈɡɪvz ˈʌs ðiː ˈɛrɚ.
ˈwɪr ˈkwɑntəˌfaɪɪŋ ˈhaʊ ˈbɪɡ əv ə məˈsteɪk ˈwiː ˈmeɪd.
ðə ˈɡoʊɫ əv ˈlɪniːɚ ɹɪˈɡɹɛʃən ˈɪz ˈtʰuː əˈdʒʌst ðə ˈlaɪn ˈtʰuː ˈmeɪk ðiː ˈɛrɚ ˈæz ˈsmɔɫ ˈæz ˈpʰɑsəbəɫ.
ˈwiː ˈwɔnt ðə ˈlaɪn ˈtʰuː ˈfɪt ðə ˈtɹeɪnɪŋ ˈdeɪɾə ˈæz ˈmʌtʃ ˈæz ˈɪt kən.
ðə ɹɪˈzʌɫt ˈɪz ˈkʰɔɫd ðə ˈlaɪn əv ˈbɛst ˈfɪt.
ˈwiː kən ˈjuːz ˈðɪs ˈstɹeɪt ˈlaɪn ˈtʰuː pɹɪˈdɪkt ˈhaʊ ˈmɛnɪ ˈswɪmɚz ˈwɪɫ ˈʃoʊ ˈʌp ˈfɔr ˈɛnɪ ˈtʰɛmpɹəˌtʃʊr,
ˈbʌt ˈpʰɑrts əv ˈɪt dɪˈfaɪ ˈlɑdʒɪk.
ˈfɔr ɪɡˈzæmpəɫ, ˈsuːpɚ ˈkʰoʊɫd ˈdeɪz ˈhæv ə ˈnɛɡəɾɪv ˈnʌmbɚ, ˈwaɪəɫ ˈdeɪndʒɚɹəslɪ ˈhɑt ˈdeɪz ˈhæv ˈweɪ
ˈmɔr ˈpʰiːpəɫ ˈðæn ðə ˈpʰuːɫ kən ˈhændɫ̩.
ˈtʰuː ˈɡɛt ˈmɔr ˈækjɚɹət ɹɪˈzʌɫts, ˈwiː ˈmaɪt ˈwɔnt ˈtʰuː kənˈsɪɾɚ ˈmɔr ˈðæn ˈtʰuː ˈfiːtʃɚz, ˈlaɪk ˈfɔr
ɪɡˈzæmpəɫ ˈæɾɪŋ ðə hjuːˈmɪɾəɾɪ ˈwɪtʃ wəd ˈtʰɝn ˈaʊɚ /twod/ ˈɡɹæf ˈɪntuː ˈθɹiːd.
ənd ˈaʊɚ ˈlaɪn əv ˈbɛst ˈfɪt wəd ˈbiː ˈmɔr ˈlaɪk ə ˈpleɪn əv ˈbɛst ˈfɪt.
ˈbʌt ˈɪf ˈwiː ˈæɾəd ə ˈfɔrθ ˈfiːtʃɚ, ˈlaɪk ˈwɛðɚ ˈɪts ˈɹeɪnɪŋ ˈɔr ˈnɑt, ˈsʌdn̩lɪ ˈwiː ˈkʰænt
ˈvɪʒəwəˌlaɪz ˈðɪs ˌɛniːˈmɔr.
ˈsoʊ ˈæz ˈwiː kənˈsɪɾɚ ˈmɔr ˈfiːtʃɚz, ˈwiː ˈæd ˈmɔr dəˈmɛnʃənz ˈtʰuː ðə ˈɡɹæf, ðiː ˌɑptəməˈzeɪʃən
ˈpɹɑbləm ˈɡɛts ˈtɹɪkiːɚ, ənd ˈfiːɾɪŋ ðə ˈtɹeɪnɪŋ ˈdeɪɾə ˈɪz ˈtʰʌfɚ.
ˈðɪs ˈɪz ˈwɛr ˈnʊrəɫ ˈnɛtˌwɝks ˈkʰʌm ˈɪn ˈhændɪ.
ˈbeɪsɪklɪ, ˈbaɪ kəˈnɛktɪŋ təˈɡɛðɚ ˈmɛnɪ ˈsɪmpəɫ ˈnʊrˌɑnz ˈwɪθ ˈweɪts, ə ˈnʊrəɫ ˈnɛtˌwɝk kən
ˈlɝn ˈtʰuː ˈsɑɫv ˈkʰɑmpləˌkeɪɾəd ˈpɹɑbləmz, ˈwɛr ðə ˈlaɪn əv ˈbɛst ˈfɪt bɪˈkʰʌmz ə ˈwɪrd ˈmʌɫtɪ-dəˈmɛnʃənɫ̩
ˈfʌŋkʃən.
ˈlɛts ˈɡɪv ˈdʒɑn ˈɡɹiːn-ˈbɑt ən ˌʌnˈtɹeɪnd ˈnʊrəɫ ˈnɛtˌwɝk.
ˈtʰuː ˈstɪk ˈwɪθ ðə ˈseɪm ɪɡˈzæmpəɫ, ðiː ˈɪnˌpʊt ˈleɪɚ əv ˈðɪs ˈnʊrəɫ ˈnɛtˌwɝk ˈtʰeɪks ˈfiːtʃɚz
ˈlaɪk ˈtʰɛmpɹəˌtʃʊr, hjuːˈmɪɾəɾɪ, ˈɹeɪn, ənd ˈsoʊ ˈɔn.
ənd ðiː ˈaʊtˌpʊt ˈleɪɚ pɹɪˈdɪkts ðə ˈnʌmbɚ əv ˈswɪmɚz ˈðæt ˈwɪɫ ˈkʰʌm ˈtʰuː ðə ˈpʰuːɫ.
ˈwɪr ˈnɑt ˈɡoʊɪŋ ˈtʰuː ˈwɝɹɪ əˈbaʊt dɪˈzaɪnɪŋ ðiː ˈɑrkəˌtɛktʃɚ əv ˈdʒɑn ˈɡɹiːn-ˈbɑts ˈnʊrəɫ
ˈnɛtˌwɝk ˈɹaɪt ˈnaʊ.
ˈlɛts ˈdʒʌst ˈfoʊkəs ˈɔn ðə ˈweɪts.
ˈhiːɫɫ ˈstɑrt, ˈæz ˈɔɫˌweɪz, ˈbaɪ ˈsɛɾɪŋ ðə ˈweɪts ˈtʰuː ˈɹændəm ˈnʌmbɚz, ˈlaɪk ðə ˈɹændəm ˈlaɪn ˈɔn
ðə ˈɡɹæf ˈwiː ˈdɹuː ˈɝliːɚ.
ˈoʊnlɪ ˈðɪs ˈtʰaɪm, ˈɪts ˈnɑt ˈdʒʌst ˈwʌn ˈɹændəm ˈlaɪn.
bɪˈkʰɔz ˈwiː ˈhæv ˈlɑts əv ˈɪnˌpʊts, ˈɪts ˈlɑts əv ˈlaɪnz ˈðæt ˈɑr kəmˈbaɪnd ˈtʰuː ˈmeɪk ˈwʌn ˈbɪɡ,
ˈmɛsɪ ˈfʌŋkʃən.
ˌoʊvɚˈɹɔɫ, ˈðɪs ˈnʊrəɫ ˈnɛtˌwɝks ˈfʌŋkʃən ɹɪˈzɛmbəɫz ˈsʌm ˈwɪrd ˈmʌɫtɪ-dəˈmɛnʃənɫ̩ ˈʃeɪp
ˈðæt ˈwiː ˈdoʊnt ˈɹiːəlɪ ˈhæv ə ˈneɪm ˈfɔr.
ˈtʰuː ˈtɹeɪn ˈðɪs ˈnʊrəɫ ˈnɛtˌwɝk, ˈwiːɫɫ ˈstɑrt ˈbaɪ ˈɡɪvɪŋ ˈdʒɑn ˈɡɹiːn-ˈbɑt ə ˈbʌntʃ əv ˈmɛʒɚmənts
fɹəm ðə ˈpʰæst ˈtʰɛn ˈdeɪz ət ðə ˈswɪmɪŋ ˈpʰuːɫ, bɪˈkʰɔz ˈðiːz ˈɑr ðə ˈdeɪz ˈwɛr ˈwiː ˈɔɫˌsoʊ
ˈnoʊ ðiː ˈaʊtˌpʊt əˈtʰɛndəns.
ˈwiːɫɫ ˈstɑrt ˈwɪθ ˈwʌn ˈdeɪ, ˈwɛr ˈɪt ˈwəz ˈeɪɾɪ dɪˈɡɹiːz ˈfɛrənˌhaɪt, ˈsɪkstiː-ˈfaɪv% hjuːˈmɪɾəɾɪ, ənd ˈnɑt
ˈɹeɪnɪŋ (ˈwɪtʃ ˈwiːɫɫ ˌɹɛpɹɪˈzɛnt ˈwɪθ ˈzɪroʊ).
ðə ˈnʊrˌɑnz ˈwɪɫ ˈduː ˈðɛr ˈθɪŋ ˈbaɪ ˈmʌɫtəˌplaɪɪŋ ˈðoʊz ˈfiːtʃɚz ˈbaɪ ðə ˈweɪts, ˈæɾɪŋ ðə
ɹɪˈzʌɫts təˈɡɛðɚ, ənd ˈpʰæsɪŋ ˌɪnfɚˈmeɪʃən ˈtʰuː ðə ˈhɪdn̩ ˈleɪɚz ənˈtʰɪɫ ðiː ˈaʊtˌpʊt ˈnʊrˌɑn
ˈhæz ən ˈænsɚ.
ˈwɑt ˈduː ˈjuː ˈθɪŋk, ˈdʒɑn ˈɡɹiːn-ˈbɑt?
ˈdʒɑn ˈɡɹiːn-ˈbɑt: ˈwʌn ˈhʌndɹəd ˌfɔrɾiːˈfaɪv ˈpʰiːpəɫ ˈwɝ ət ðə ˈpʰuːɫ!
ˈdʒʌst ˈlaɪk bɪˈfɔr, ˈðɛr ˈɪz ə ˈdɪfɹəns bɪˈtwiːn ðə ˈnʊrəɫ ˈnɛtˌwɝks ˈaʊtˌpʊt ənd ðiː ˈæktʃəwəɫ
ˈswɪmɪŋ ˈpʰuːɫ əˈtʰɛndəns -- ˈwɪtʃ ˈwəz ɹɪˈkʰɔrɾəd ˈæz ˈwʌn ˈhʌndɹəd ˈpʰiːpəɫ.
bɪˈkʰɔz ˈwiː ˈdʒʌst ˈhæv ˈwʌn ˈaʊtˌpʊt ˈnʊrˌɑn, ˈðæt ˈdɪfɹəns əv ˌfɔrɾiːˈfaɪv ˈpʰiːpəɫ ˈɪz ðiː ˈɛrɚ.
ˈpɹɪɾɪ ˈsɪmpəɫ.
ˈɪn ˈsʌm ˈnʊrəɫ ˈnɛtˌwɝks ˈðoʊ, ðiː ˈaʊtˌpʊt ˈleɪɚ ˈmeɪ ˈhæv ə ˈlɑt əv ˈnʊrˌɑnz.
ˈsoʊ ðə ˈdɪfɹəns bɪˈtwiːn ðə pɹɪˈdɪktəd ˈænsɚ ənd ðə kɚˈɹɛkt ˈænsɚ ˈɪz ˈmɔr ˈðæn ˈdʒʌst ˈwʌn
ˈnʌmbɚ.
ˈɪn ˈðiːz ˈkʰeɪsəz, ðiː ˈɛrɚ ˈɪz ˌɹɛpɹɪˈzɛntəd ˈbaɪ ˈwɑts ˈnoʊn ˈæz ə ˈlɔs ˈfʌŋkʃən.
ˈmuːvɪŋ ˈfɔrwɚd, ˈwiː ˈniːd ˈtʰuː əˈdʒʌst ðə ˈnʊrəɫ ˈnɛtˌwɝks ˈweɪts ˈsoʊ ˈðæt ðə ˈnɛkst ˈtʰaɪm
ˈwiː ˈɡɪv ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈsɪməlɚ ˈɪnˌpʊts, ˈhɪz ˈmæθ ənd ˈfaɪnɫ̩ ˈaʊtˌpʊt ˈwɪɫ ˈbiː ˈmɔr ˈækjɚɹət.
ˈbeɪsɪklɪ, ˈwiː ˈniːd ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈtʰuː ˈlɝn fɹəm ˈhɪz məˈsteɪks, ə ˈlɑt ˈlaɪk ˈwɛn ˈwiː ˈpʰʊʃt
ə ˈbʌʔn̩ ˈtʰuː ˈsuːpɚˌvaɪz ˈhɪz ˈlɝnɪŋ ˈwɛn ˈhiː ˈhæd ðə /perceptron/ ˈpɹoʊˌɡɹæm.
ˈbʌt ˈðɪs ˈɪz ˈtɹɪkiːɚ bɪˈkʰɔz əv ˈhaʊ ˈkʰɑmpləˌkeɪɾəd ˈnʊrəɫ ˈnɛtˌwɝks ˈɑr.
ˈtʰuː ˈhɛɫp ˈnʊrəɫ ˈnɛtˌwɝks ˈlɝn, ˈsaɪəntɪsts ənd ˌmæθəməˈtʰɪʃənz ˈkʰeɪm ˈʌp ˈwɪθ ən ˈæɫɡɚˌɹɪðəm
ˈkʰɔɫd /backpropagation/ əv ðiː ˈɛrɚ, ˈɔr ˈdʒʌst /backpropagation/.
ðə ˈbeɪsɪk ˈɡoʊɫ ˈɪz ˈtʰuː ˈlʊk ət ðə ˈlɔs ˈfʌŋkʃən ənd ˈðɛn əˈsaɪn ˈbleɪm ˈtʰuː ˈnʊrˌɑnz ˈbæk ˈɪn ðə
ˈpɹiːviːəs ˈleɪɚz əv ðə ˈnɛtˌwɝk.
ˈsʌm ˈnʊrˌɑnz' ˌkæɫkjəˈleɪʃənz ˈmeɪ ˈhæv ˈbɪn ˈmɔr ˈtʰuː ˈbleɪm ˈfɔr ðiː ˈɛrɚ ˈðæn ˈʌðɚz, ˈsoʊ
ˈðɛr ˈweɪts ˈwɪɫ ˈbiː əˈdʒʌstəd ˈmɔr.
ˈðɪs ˌɪnfɚˈmeɪʃən ˈɪz ˈfɛd ˈbækwɚdz, ˈwɪtʃ ˈɪz ˈwɛr ðiː aɪˈdiːə əv /backpropagation/ ˈkʰʌmz fɹəm.
ˈsoʊ ˈfɔr ɪɡˈzæmpəɫ, ðiː ˈɛrɚ fɹəm ˈaʊɚ ˈaʊtˌpʊt ˈnʊrˌɑn wəd ˈɡoʊ ˈbæk ə ˈleɪɚ ənd əˈdʒʌst ðə
ˈweɪts ˈðæt ˈɡɛt əˈplaɪd ˈtʰuː ˈaʊɚ ˈhɪdn̩ ˈleɪɚ ˈnʊrˌɑn ˈaʊtˌpʊts.
ənd ðiː ˈɛrɚ fɹəm ˈaʊɚ ˈhɪdn̩ ˈleɪɚ ˈnʊrˌɑnz wəd ˈɡoʊ ˈbæk ə ˈleɪɚ ənd əˈdʒʌst ðə ˈweɪts
ˈðæt ˈɡɛt əˈplaɪd ˈtʰuː ˈaʊɚ ˈfiːtʃɚz.
ɹɪˈmɛmbɚ: ˈaʊɚ ˈɡoʊɫ ˈɪz ˈtʰuː ˈfaɪnd ðə ˈbɛst ˌkɑmbəˈneɪʃən əv ˈweɪts ˈtʰuː ˈɡɛt ðə ˈloʊəst ˈɛrɚ.
ˈtʰuː ɪkˈspleɪn ðə ˈlɑdʒɪk bɪˈhaɪnd ˌɑptəməˈzeɪʃən ˈwɪθ ə ˈmɛɾəˌfɔr, ˈlɛts ˈsɛnd ˈdʒɑn ˈɡɹiːn ˈbɑt ˈɔn
ə ˌmɛɾəˈfɔrɪkəɫ ˈdʒɝnɪ ˈθɹuː ðə ˈθɔt ˈbʌbəɫ.
ˈlɛts ɪˈmædʒən ˈðæt ˈweɪts ˈɪn ˈaʊɚ ˈnʊrəɫ ˈnɛtˌwɝk ˈɑr ˈlaɪk ˈlæɾəˌtuːd ənd ˈlɑndʒəˌtuːd koˈɔrɾəˌneɪts
ˈɔn ə ˈmæp.
ənd ðiː ˈɛrɚ əv ˈaʊɚ ˈnʊrəɫ ˈnɛtˌwɝk ˈɪz ðiː ˈæɫtəˌtuːd -- ˈloʊɚ ˈɪz ˈbɛɾɚ.
ˈdʒɑn ˈɡɹiːn-ˈbɑt ðiː ɪkˈsplɔrɚ ˈɪz ˈɔn ə ˈkwɛst ˈtʰuː ˈfaɪnd ðə ˈloʊəst ˈpʰɔɪnt ˈɪn ðə ˈdiːpəst ˈvælɪ.
ðə ˈlæɾəˌtuːd ənd ˈlɑndʒəˌtuːd əv ˈðæt ˈloʊəst ˈpʰɔɪnt -- ˈwɛr ðiː ˈɛrɚ ˈɪz ðə ˈsmɔləst -- ˈɑr
ðə ˈweɪts əv ðə ˈnʊrəɫ ˈnɛtˌwɝks ˈɡloʊbəɫ ˈɑptəməɫ səˈluːʃən.
ˈbʌt ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈhæz ˈnoʊ aɪˈdiːə ˈwɛr ˈðɪs ˈvælɪ ˈæktʃəwəlɪ ˈɪz.
ˈbaɪ ˈɹændəmlɪ ˈsɛɾɪŋ ðiː ɪˈnɪʃəɫ ˈweɪts əv ˈaʊɚ ˈnʊrəɫ ˈnɛtˌwɝk, ˈwɪr ˈbeɪsɪklɪ ˈdʌmpɪŋ
ˈhɪm ˈɪn ðə ˈmɪɾɫ̩ əv ðə ˈdʒʌŋɡəɫ.
ˈɔɫ ˈhiː ˈnoʊz ˈɪz ˈhɪz ˈkʰɝɹənt ˈlæɾəˌtuːd, ˈlɑndʒəˌtuːd, ənd ˈæɫtəˌtuːd.
ˈmeɪbɪ ˈwiː ˈɡɑt ˈlʌkɪ ənd ˈhiːz ˈɔn ðə ˈsaɪd əv ðə ˈdiːpəst ˈvælɪ.
ˈbʌt ˈhiː kəd ˈɔɫˌsoʊ ˈbiː ət ðə ˈtʰɑp əv ðə ˈhaɪəst ˈmaʊnʔn̩ ˈfɑr əˈweɪ.
ðiː ˈoʊnlɪ ˈweɪ ˈtʰuː ˈnoʊ ˈɪz ˈtʰuː ɪkˈsplɔr!
bɪˈkʰɔz ðə ˈdʒʌŋɡəɫ ˈɪz ˈsoʊ ˈdɛns, ˈɪts ˈhɑrd ˈtʰuː ˈsiː ˈvɛrɪ ˈfɑr.
ðə ˈbɛst ˈdʒɑn ˈɡɹiːn-ˈbɑt kən ˈduː ˈɪz ˈlʊk ɚˈɹaʊnd ənd ˈmeɪk ə ˈɡɛs.
ˈhiː ˈnoʊɾəsəz ˈðæt ˈhiː kən dɪˈsɛnd ˈdaʊn ə ˈlɪɾɫ̩ ˈbaɪ ˈmuːvɪŋ nɔrθˈiːst, ˈsoʊ ˈhiː ˈtʰeɪks ə ˈstɛp ˈdaʊn
ənd ˌʌpˈdeɪts ˈhɪz ˈlæɾəˌtuːd ənd ˈlɑndʒəˌtuːd.
fɹəm ˈðɪs ˈnuː pəˈzɪʃən, ˈhiː ˈlʊks ɚˈɹaʊnd ənd ˈpʰɪks əˈnʌðɚ ˈstɛp ˈðæt dɪˈkɹiːsəz ˈhɪz ˈæɫtəˌtuːd
ə ˈlɪɾɫ̩ ˈmɔr.
ənd ˈðɛn əˈnʌðɚ… ənd əˈnʌðɚ.
ˈwɪθ ˈɛvɹɪ ˈbɹeɪv ˈstɛp, ˈhiː ˌʌpˈdeɪts ˈhɪz koˈɔrɾəˌneɪts ənd dɪˈkɹiːsəz ˈhɪz ˈæɫtəˌtuːd.
ɪˈvɛntʃəwəlɪ, ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈlʊks ɚˈɹaʊnd ənd ˈfaɪndz ˈðæt ˈhiː ˈkʰænt ˈɡoʊ ˈdaʊn ˌɛniːˈmɔr.
ˈhiː ˈsɛləˌbɹeɪts, bɪˈkʰɔz ˈɪt ˈsiːmz ˈlaɪk ˈhiː ˈfaʊnd ðə ˈloʊəst ˈpʰɔɪnt ˈɪn ðə ˈdiːpəst ˈvælɪ!
ˈɔr... ˈsoʊ ˈhiː ˈθɪŋks.
ˈɪf ˈwiː ˈlʊk ət ðə ˈhoʊɫ ˈmæp, ˈwiː kən ˈsiː ˈðæt ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈoʊnlɪ ˈfaʊnd ðə ˈbɑɾəm əv ə
ˈsmɔɫ ˈɡɔrdʒ ˈwɛn ˈhiː ˈɹæn ˈaʊt əv “ˈdaʊn.”
ˈɪts ˈweɪ ˈbɛɾɚ ˈðæn ˈwɛr ˈhiː ˈstɑrɾəd, ˈbʌt ˈɪts ˈdɛfənɪtlɪ ˈnɑt ðə ˈloʊəst ˈpʰɔɪnt əv
ðə ˈdiːpəst ˈvælɪ.
ˈsoʊ ˈhiː ˈdʒʌst ˈfaʊnd ə ˈloʊkəɫ ˈɑptəməɫ səˈluːʃən, ˈwɛr ðə ˈweɪts ˈmeɪk ðiː ˈɛrɚ ˈɹɛləɾɪvlɪ
ˈsmɔɫ, ˈbʌt ˈnɑt ðə ˈsmɔləst ˈɪt kəd ˈbiː.
ˈsɑrɪ, ˈbʌɾɪ.
ˈθæŋks, ˈθɔt ˈbʌbəɫ.
/Backpropagation/ ənd ˈlɝnɪŋ ˈɔɫˌweɪz ɪnˈvɑɫvz ˈlɑts əv ˈlɪɾɫ̩ ˈstɛps, ənd ˌɑptəməˈzeɪʃən ˈɪz
ˈtɹɪkɪ ˈwɪθ ˈɛnɪ ˈnʊrəɫ ˈnɛtˌwɝk.
ˈɪf ˈwiː ˈɡoʊ ˈbæk ˈtʰuː ˈaʊɚ ɪɡˈzæmpəɫ əv ˌɑptəməˈzeɪʃən ˈæz ɪkˈsplɔrɪŋ ə ˌmɛɾəˈfɔrɪkəɫ ˈmæp, ˈwɪr ˈnɛvɚ
ˈkwaɪt ˈʃʊr ˈɪf ˈwɪr ˈhɛɾəd ˈɪn ðə ˈɹaɪt dɚˈɹɛkʃən ˈɔr ˈɪf ˈwiːv ˈɹiːtʃt ðə ˈloʊəst
ˈvælɪ ˈwɪθ ðə ˈsmɔləst ˈɛrɚ -- əˈɡɛn ˈðæts ðə ˈɡloʊbəɫ ˈɑptəməɫ səˈluːʃən.
ˈbʌt ˈtɹɪks ˈhæv ˈbɪn dɪˈskʌvɚd ˈtʰuː ˈhɛɫp ˈʌs ˈbɛɾɚ ˈnævəˌɡeɪt.
ˈfɔr ɪɡˈzæmpəɫ, ˈwɛn ˈwiː ˈdɹɑp ən ɪkˈsplɔrɚ ˈsʌmˌwɛr ˈɔn ðə ˈmæp, ˈðeɪ kəd ˈbiː ˈɹiːəlɪ ˈfɑr fɹəm
ðə ˈloʊəst ˈvælɪ, ˈwɪθ ə ˈdʒaɪənt ˈmaʊnʔn̩ ˈɹeɪndʒ ˈɪn ðə ˈweɪ.
ˈsoʊ ˈɪt ˈmaɪt ˈbiː ə ˈɡʊd aɪˈdiːə ˈtʰuː ˈtɹaɪ ˈdɪfɹənt ˈɹændəm ˈstɑrɾɪŋ ˈpʰɔɪnts ˈtʰuː ˈbiː ˈʃʊr ˈðæt ðə
ˈnʊrəɫ ˈnɛtˌwɝk ˈɪzn̩t ˈɡɛɾɪŋ ˈstʌk ət ə ˈloʊkəlɪ ˈɑptəməɫ səˈluːʃən.
ˈɔr ɪnˈstɛd əv ɹiːˈstɑrɾɪŋ ˈoʊvɚ ənd ˈoʊvɚ əˈɡɛn, ˈwiː kəd ˈhæv ə ˈtʰiːm əv ɪkˈsplɔrɚz ˈðæt ˈstɑrt
fɹəm ˈdɪfɹənt loˈkʰeɪʃənz ənd ɪkˈsplɔr ðə ˈdʒʌŋɡəɫ ˌsaɪməɫˈtʰeɪniːəslɪ.
ˈðɪs ˈstɹæɾədʒɪ əv ɪkˈsplɔrɪŋ ˈdɪfɹənt səˈluːʃənz ət ðə ˈseɪm ˈtʰaɪm ˈɔn ðə ˈseɪm ˈnʊrəɫ ˈnɛtˌwɝk
ˈɪz ɪˈspɛʃəlɪ ˈjuːsfəɫ ˈwɛn ˈjuː ˈhæv ə ˈdʒaɪənt kəmˈpʰjuːɾɚ ˈwɪθ ˈlɑts əv ˈpɹɑˌsɛsɚz.
ənd ˈwiː kəd ˈiːvən əˈdʒʌst ðiː ɪkˈsplɔrɚz ˈstɛp ˈsaɪz, ˈsoʊ ˈðæt ˈðeɪ kən ˈstɛp ˈɹaɪt ˈoʊvɚ
ˈsmɔɫ ˈhɪɫz ˈæz ˈðeɪ ˈtɹaɪ ˈtʰuː ˈfaɪnd ənd dɪˈsɛnd ˈɪntuː ə ˈvælɪ.
ˈðɪs ˈstɛp ˈsaɪz ˈɪz ˈkʰɔɫd ðə ˈlɝnɪŋ ˈɹeɪt, ənd ˈɪts ˈhaʊ ˈmʌtʃ ðə ˈnʊrˌɑn ˈweɪts ˈɡɛt
əˈdʒʌstəd ˈɛvɹɪ ˈtʰaɪm /backpropagation/ ˈhæpənz.
ˈwɪr ˈɔɫˌweɪz ˈlʊkɪŋ ˈfɔr ˈmɔr kɹiːˈeɪɾɪv ˈweɪz ˈtʰuː ɪkˈsplɔr səˈluːʃənz, ˈtɹaɪ ˈdɪfɹənt ˌkɑmbəˈneɪʃənz
əv ˈweɪts, ənd ˈmɪnəˌmaɪz ðə ˈlɔs ˈfʌŋkʃən ˈæz ˈwiː ˈtɹeɪn ˈnʊrəɫ ˈnɛtˌwɝks.
ˈbʌt ˈiːvən ˈɪf ˈwiː ˈjuːz ə ˈbʌntʃ əv ˈtɹeɪnɪŋ ˈdeɪɾə ənd /backpropagation/ ˈtʰuː ˈfaɪnd ðə ˈɡloʊbəɫ ˈɑptəməɫ
səˈluːʃən… ˈwɪr ˈstɪɫ ˈoʊnlɪ ˈhæfˈweɪ ˈdʌn.
ðiː ˈʌðɚ ˈhæf əv ˈtɹeɪnɪŋ ən ˈaɪ ˈɪz ˈtʃɛkɪŋ ˈwɛðɚ ðə ˈsɪstəm kən ˈænsɚ ˈnuː ˈkwɛstʃənz.
ˈɪts ˈiːzɪ ˈtʰuː ˈsɑɫv ə ˈpɹɑbləm ˈwiːv ˈsiːn bɪˈfɔr, ˈlaɪk ˈtʰeɪkɪŋ ə ˈtʰɛst ˈæftɚ ˈstʌɾiːɪŋ
ðiː ˈænsɚ ˈkʰiː.
ˈwiː ˈmeɪ ˈɡɛt ən ə, ˈbʌt ˈwiː ˈdɪdn̩t ˈæktʃəwəlɪ ˈlɝn ˈmʌtʃ.
ˈtʰuː ˈɹiːəlɪ ˈtʰɛst ˈwɑt ˈwiːv ˈlɝnt, ˈwiː ˈniːd ˈtʰuː ˈsɑɫv ˈpɹɑbləmz ˈwiː ˈhævənt ˈsiːn bɪˈfɔr.
ˈseɪm ˈɡoʊz ˈfɔr ˈnʊrəɫ ˈnɛtˌwɝks.
ˈðɪs ˈhoʊɫ ˈtʰaɪm, ˈdʒɑn ˈɡɹiːn-ˈbɑt ˈhæz ˈbɪn ˈtɹeɪnɪŋ ˈhɪz ˈnʊrəɫ ˈnɛtˌwɝk ˈwɪθ ˈswɪmɪŋ ˈpʰuːɫ ˈdeɪɾə.
ˈhɪz ˈnʊrəɫ ˈnɛtˌwɝk ˈhæz ˈdʌzn̩z əv ˈfiːtʃɚz ˈlaɪk ˈtʰɛmpɹəˌtʃʊr, hjuːˈmɪɾəɾɪ, ˈɹeɪn, ˈdeɪ əv ðə
ˈwiːk, ənd ˈwɪnd ˈspiːd… ˈbʌt ˈɔɫˌsoʊ ˈɡɹæs ˈlɛŋθ, ˈnʌmbɚ əv ˈbʌɾɚˌflaɪz ɚˈɹaʊnd ðə ˈpʰuːɫ, ənd
ðiː ˈævɹɪdʒ ˈdʒiː-ˈpʰiː-ˈeɪ əv ðə ˈlaɪfˌɡɑrdz.
ˈmɔr ˈdeɪɾə kən ˈbiː ˈbɛɾɚ ˈfɔr ˈfaɪndɪŋ ˈpʰæɾɚnz ənd ˈækjɚɹəsɪ, ˈæz ˈlɔŋ ˈæz ðə kəmˈpʰjuːɾɚ kən
ˈhændɫ̩ ˈɪt!
ˈoʊvɚ ˈtʰaɪm, /backpropagation/ ˈwɪɫ əˈdʒʌst ðə ˈnʊrˌɑn ˈweɪts, ˈsoʊ ˈðæt ˈnʊrəɫ ˈnɛtˌwɝks
ˈaʊtˌpʊt ˈmætʃəz ðə ˈtɹeɪnɪŋ ˈdeɪɾə.
ɹɪˈmɛmbɚ, ˈðæts ˈkʰɔɫd ˈfiːɾɪŋ ˈtʰuː ðə ˈtɹeɪnɪŋ ˈdeɪɾə, ənd ˈwɪθ ˈðɪs ˈkʰɑmpləˌkeɪɾəd ˈnʊrəɫ ˈnɛtˌwɝk,
ˈwɪr ˈlʊkɪŋ ˈfɔr ə ˈmʌɫtɪ-dəˈmɛnʃənɫ̩ ˈfʌŋkʃən.
ənd ˈsʌmˌtaɪmz, /backpropagation/ ˈɪz ˈtʰuː ˈɡʊd ət ˈmeɪkɪŋ ə ˈnʊrəɫ ˈnɛtˌwɝk ˈfɪt ˈtʰuː ˈsɝʔn̩
ˈdeɪɾə.
ˈsiː, ˈðɛr ˈɑr ˈlɑts əv koˌɪnsəˈdɛntɫ̩ ɹɪˈleɪʃənˌʃɪps ˈɪn ˈbɪɡ ˈdeɪɾəˌsɛts.
ˈlaɪk ˈfɔr ɪɡˈzæmpəɫ, ðə dəˈvɔrs ˈɹeɪt ˈɪn ˈmeɪn ˈmeɪ ˈbiː ˈkʰɔrəˌleɪɾəd ˈwɪθ ˈjuːz. ˈmɑrdʒɚɹən kənˈsʌmpʃən,
ˈɔr ˈskiːɪŋ ˈɹɛvəˌnuː ˈmeɪ ˈbiː ˈkʰɔrəˌleɪɾəd ˈwɪθ ðə ˈnʌmbɚ əv ˈpʰiːpəɫ ˈdaɪɪŋ ˈbaɪ ˈɡɛɾɪŋ ˈtɹæpt
ˈɪn ˈðɛr ˈbɛdˌʃiːts.
ˈnʊrəɫ ˈnɛtˌwɝks ˈɑr ˈɹiːəlɪ ˈɡʊd ət ˈfaɪndɪŋ ˈðiːz ˈkʰaɪndz əv ɹɪˈleɪʃənˌʃɪps.
ənd ˈɪt kən ˈbiː ə ˈbɪɡ ˈpɹɑbləm, bɪˈkʰɔz ˈɪf ˈwiː ˈɡɪv ə ˈnʊrəɫ ˈnɛtˌwɝk ˈsʌm ˈnuː ˈdeɪɾə ˈðæt ˈdʌzn̩t
ædˈhɪr ˈtʰuː ˈðiːz ˈsɪlɪ ˌkɔrəˈleɪʃənz, ˈðɛn ˈɪt ˈwɪɫ ˈpɹɑbəblɪ ˈmeɪk ˈsʌm ˈstɹeɪndʒ ˈɛrɚz.
ˈðæts ə ˈdeɪndʒɚ ˈnoʊn ˈæz /overfitting/.
ðiː ˈiːziːəst ˈweɪ ˈtʰuː pɹɪˈvɛnt /overfitting/ ˈɪz ˈtʰuː ˈkʰiːp ðə ˈnʊrəɫ ˈnɛtˌwɝk ˈsɪmpəɫ.
ˈɪf ˈwiː ɹiːˈtɹeɪn ˈdʒɑn ˈɡɹiːn-ˈbɑts ˈswɪmɪŋ ˈpʰuːɫ ˈpɹoʊˌɡɹæm /wıˈðaʊt/ ˈdeɪɾə ˈlaɪk ˈɡɹæs ˈlɛŋθ
ənd ˈnʌmbɚ əv ˈbʌɾɚˌflaɪz, ənd ˈwiː əbˈzɝv ˈðæt ˈaʊɚ ˈækjɚɹəsɪ ˈdʌzn̩t ˈtʃeɪndʒ, ˈðɛn ɪɡˈnɔrɪŋ
ˈðoʊz ˈfiːtʃɚz ˈɪz ˈbɛst.
ˈsoʊ ˈtɹeɪnɪŋ ə ˈnʊrəɫ ˈnɛtˌwɝk ˈɪzn̩t ˈdʒʌst ə ˈbʌntʃ əv ˈmæθ!
ˈwiː ˈniːd ˈtʰuː kənˈsɪɾɚ ˈhaʊ ˈtʰuː ˈbɛst ˌɹɛpɹɪˈzɛnt ˈaʊɚ ˈvɛriːəs ˈpɹɑbləmz ˈæz ˈfiːtʃɚz ˈɪn ˈaɪ ˈsɪstəmz,
ənd ˈtʰuː ˈθɪŋk ˈkʰɛrfəlɪ əˈbaʊt ˈwɑt məˈsteɪks ˈðiːz ˈpɹoʊˌɡɹæmz ˈmaɪt ˈmeɪk.
ˈnɛkst ˈtʰaɪm, ˈwiːɫɫ ˈdʒʌmp ˈɪntuː ˈaʊɚ ˈvɛrɪ ˈfɝst ˈlæb əv ðə ˈkʰɔrs, ˈwɛr ˈwiːɫɫ əˈplaɪ ˈɔɫ
ˈðɪs ˈnɑlɪdʒ ənd ˈbɪɫd ə ˈnʊrəɫ ˈnɛtˌwɝk təˈɡɛðɚ.
ˈkɹæʃ ˈkʰɔrs ˈaɪ ˈɪz pɹəˈduːst ˈɪn əˌsoʊsiːˈeɪʃən ˈwɪθ ˈpʰiː-ˈbiː-ˈɛs ˈdɪdʒəɾɫ̩ ˈstuːɾiːˌoʊz.
ˈɪf ˈjuː ˈwɔnt ˈtʰuː ˈhɛɫp ˈkʰiːp ˈkɹæʃ ˈkʰɔrs ˈfɹiː ˈfɔr ˈɛvɹiːˌwʌn, fɚˈɹɛvɚ, ˈjuː kən ˈdʒɔɪn ˈaʊɚ kəˈmjuːnəɾɪ
ˈɔn /Patreon/.
ənd ˈɪf ˈjuː ˈwɔnt ˈtʰuː ˈlɝn ˈmɔr əˈbaʊt ðə ˈmæθ əv ˈkʰeɪ-ˈmiːnz ˈklʌstɚɹɪŋ, ˈtʃɛk ˈaʊt ˈðɪs ˈvɪɾiːoʊ
fɹəm ˈkɹæʃ ˈkʰɔrs stəˈtʰɪstɪks.